Nel racconto dei locali su Irsina spesso si trovano notizie sull'importanza strategica e per l'aver avuto un ruolo di transito importante. Andando oltre l'inevitabile campalismo e ricerca di riconoscimenti di guerre mai combattute, dai ritrovamenti appuli ritrovati nel centro urbano dimostra che Irsina era un centro abitato al pari del vicino Monte Irsi, Gravina, Timmari ecc. che faceva parte dell'ethnos peuceta. Il dialetto locale comunque ha delle caratteristiche peculiari e risente dell'influenza dei dialetti vicini potendoci intravedere influenze del gravinese, materano (quindi dialetti appulo-baresi) e lucani. A differenza di Matera che è un pezzo di Puglia dato in prestito alla Basilicata, Irsina è davvero culturalmente e antropologicamente una terra di frontiera tra il mondo lucano e pugliese.
Il centro storico di Irsina oggi si presenta come un piccolo borgo medievale facilmente visitabile a piedi. La parte più antica è rappresentato da un dedalo di caratteristiche viuzze di quello che anticamente era il quartiere greco al cui interno nel tempo, attraverso una serie di piccole demolizioni, furono ricavati nuovi slarghi e piazzette ed edificate diverse piccole chiese adiacenti le abitazioni. Sant'Andrea, Santa Lucia, il Purgatorio, San Nicola de Morgitiis, San Nicola dei poveri, San Rocco, l'Annunziata, l'Addolorata, sono piccole chiesette che la popolazione ha voluto erigere a fianco alle proprie case. Nei secoli che vanno dal '500 al '700 sorsero le grandi strutture ecclesiastiche e i grandi palazzi nobiliari lungo l'asse viario di Porta Maggiore che ancora oggi rappresenta l'asse di espansione della città contemporanea.
L'abitato conserva ancora parte dell'antica cinta muraria medievale che circonda il centro storico, due torri cilindriche poste all'estremità del paese e le due antiche porte d'accesso, Porta Maggiore detta di Sant'Eufemia e Porta Lenazza detta anche Arenacea. Al centro si erge maestosa la cattedrale dedicata a Santa Maria Assunta.<
Santa Maria Assunta di Irsina è un edificio maestoso e rappresenta un caso unico nel panorama delle costruzioni religiose del Sud Italia. La prima edificazione la si fa risalire all'interno del primo millennio, questa prima struttura fu presumibilmente distrutta dall'invasione saracena del 988. La chiesa venne ricostruita in fretta perché è citata già in una bolla del 1123. Della sua antica struttura si conserva la cripta, una suggestiva chiesetta con affreschi dell' XI secolo, che si trova sotto l'abside della cattedrale. La cattedrale nei secoli ha seguito le sorti storiche e le vicissitudini del paese, contraddistinte da continui e ripetuti saccheggi e distruzioni. L'impianto di quella che oggi è la cattedrale è un edificio del XVIII secolo che attraverso una recente e approfondita analisi strutturale ha mostrato una serie di sorprendenti caratteristiche. Il suo campanile pur avendo una struttura di base romanica rivela nella parte superiore un originale e inusuale stile gotico, caso unico nel panorama meridionale.
Di notevolissima importanza sono anche le opere d'arte presenti all'interno provenienti in parte da una donazione quattrocentesca di un notaio di origini irsinesi Roberto De Mabilia. Tra le opere d'arte donate spicca la statua lapidea della patrona di Irsina, Sant'Eufemia, la cui pregevole fattura e bellezza ha fatto ipotizzare alcuni studiosi che potesse essere opera del Mantegna, ad oggi questa attribuzione rimane una ipotesi molto accreditata ma non del tutto comprovata.
Proprio vicino la statua del Mantegna, vicino a un altarino, c'è una scalinata buia che conduce alla cripta. Qui si puó ammirare un segno del passaggio dei templari a Irsina. Sul pavimento, in marmo, si intravede la 'rosa dei templari' che ogni anno, durante il solstizio d'estate, viene illuminata da un potente raggio di sole.
Un altro oggetto di eccezionale valore storico e artistico è il crocifisso di scuola donatelliana presente sull'altare maggiore della Cattedrale. Si tratta di una statua lignea di pregevole fattura la cui peculiarità è nascosta al suo interno. Dopo un recente restauro è venuto alla luce uno sportellino sul costato del Cristo che chiude un piccolo vano ed un sistema di cavi per articolare le braccia. Le ipotesi è che quel piccolo spazio potesse essere un reliquiario oppure che contenesse un marchingegno che permettesse la fuoriuscita di un liquido simile al sangue dal costato mentre il sistema dei cavi legate alle braccia fa ipotizzare che sitratti di un rarissimo quanto antico automa.
A queste si aggiungono altre opere d'arte di altrettana belleza e valore, primo fra tutti un pregevole coro ligneo sormonatato da un antico organo a canne.
Come in molti altri paesi lucani anche ad Irsina vi è un notevole patrimonio culturale immateriale legato a feste, tradizioni e ricorrenze religiose. Tra le più significative espressioni di questo patrimonio ad Irsina ci sono senza dubbio le torri umane, chiamate 'u p'zz'candt'ò.
La tradizionale torre umana vede nella parte inferiore 4 o 5 giovani prestanti che mantenendosi stretti gli uni con gli altri attraverso le braccia, si dispongono in cerchio permettendo ad altri giovani di arrampicarsi fino a formare una torre. Non appena la torre si forma e si raggiunge l'equilibrio, la torre inizia a ruotare al ritmo di strofe che alludono al pericolo, sempre imminente, di un capovolgimento sociale. Queste torri ad Irsina assumono un significato ora religioso, ora politico, ora sociale, in passato si formavano il p'zz'candtò anche a tre piani e diversi erano i gruppi che costruivano torri. Vi era infatti il p'zz'cantò dei contadini, degli artigiani, etc... etc..., oggi ad Irsina questa delle torri è un'usanza legata alla festa della Madonna della Pietà.
Questa tradizione esisteva anche in altri paesi della Basilicata ma oggi è pressocchè scomparsa. Irsina è riuscita a tenere viva e fornire linfa vitale a questa tradizione con un festival dedicato e attravrerso gemellaggi con le città spagnola catalane in cui è ancora presente e viva una tradizione analoga.
Una leggenda locale vuole che la Chiesa di San Francesco sia stata in origine un castello normanno donato da Federico II in persona al santo, di passaggio in questi luoghi al tempo del suo viaggio in Terra Santa. Naturalmente non risultano notizie documentate in merito, tuttavia la presenza dei Frati Francescani a Irsina risale già ai primi del XIV sec., come attestato da alcuni manoscritti storici.
L'attuale chiesa e l’annesso complesso conventuale furono edificati intorno al 1531 dai Frati Conventuali, dietro autorizzazione di Clemente VII. La chiesa, ricostruita intorno al 1717, oggi conserva importanti opere di pregiata fattura artistica, oltre al magnifico ciclo di affreschi custoditi nella cripta trecentesca interamente affrescata da opere appartenenti alla scuola giottesca e realizzate attorno al 1370. Custoditi con estrema cura, questi affreschi hanno mantenuto i colori vivaci e brillanti di quando sono stati realizzati.
Il Museo Civico Janora ospita la preziosa collezione dello storico e archeologo irsinese Michele Janora, nato a Montepeloso, oggi Irsina, il 3 settembre 1867 e morto alla giovane età di 43 anni. Nel 1903 è nominato Regio Ispettore onorario per i monumenti e gli scavi del Comune di Montepeloso. La sua passione per l’antichità lo porta a raccogliere una gran quantità di manufatti archeologici e a conservarli nel palazzo di famiglia.
Gli oltre 1600 reperti, provenienti in gran parte da necropoli o singole tombe disseminate lungo le fasce orientale della Basilicata e nord-occidentale della Puglia, testimoniano la vita della città e del territorio fin dal Neolitico.
Il nucleo più importante della raccolta è costituito da ceramica a decorazione geometrica, a figure rosse, a vernice nera, acroma, armi e ornamenti in bronzo e ferro databili dall’età preistorica all’età ellenistica. Dell’intera collezione viene esposta una selezione di circa 300 reperti appositamente studiati e restaurati.
Il progetto scientifico ed espositivo del Museo, che occupa sei sale nell’ala sinistra del convento di San Francesco, ha consentito la realizzazione di un percorso cronologico-tematico che parte dalla preistoria e si conclude con l’età ellenistica.
In un piccolo viottolo nei pressi di Via S. Chiara 14 si trova una eclettica casa di cui nessuno sa molto. La 'Casa di conchiglie' è interamente decorata con sassolini e conchiglie di mare. Purtroppo crollato qualche anno fa, un colosseo di telline sormontava la facciata, mentre ora è possibile vedere solo la torre di Pisa e gli infiniti dettagli decorativi che lasciano sempre a bocca aperta!
Nel medioevo furono costruiti sotto la collina di Irsina dei lunghissimi cunicoli che servivano per incanalare l'acqua che ancora oggi sgorga dalla fontana settecentesca chiamata 'Le 12 fontane'.
Una peculiarità di Irsina è l'ospitare una ragguardevole comunità anglofona nel corso degli ultimi anni al pari della Costa del Sol della Spagna senza che ci sia il mare.